Скорость мысли. Грандиозное путешествие сквозь мозг за 2,1 секунды - Марк Хамфрис
Искусственные нейронные сети не так хороши в обобщении. Программист может обучить одну из своих нейронных сетей на десятках тысяч изображений, чтобы она научилась классифицировать их: «автомобили», «гориллы», «горящие холодильники». Но глубокие нейронные сети состоят из множества слоев, объединяющих тысячи простых нейроноподобных единиц. То есть у них есть миллионы, десятки миллионов соединений между этими устройствами, и силу каждого соединения можно регулировать. Наличие гораздо большего числа настраиваемых подключений, чем изображений, означает, что искусственные сети до ужаса склонны к переобучению – чрезмерной подгонке модели для классификации [136]; они изучают мельчайшие детали каждого изображения, точно настраиваются на нюансы. То есть они не поняли, что общего между всеми автомобилями, гориллами или пылающими холодильниками. Они, скорее всего, провалят экзамен на обобщение. Протестируйте обученную сеть на новых изображениях уже изученных категорий – горилла, но вид сверху; холодильник, от которого остались только головешки, – и нейросеть не сможет поместить их в правильные категории. Даже изменение нескольких пикселей уже изученного изображения может привести к сбою.
Широко используемое решение – метод DropConnect [137]. Объяснение уже в названии: для каждого нового изображения, представленного во время обучения, группа соединений в сети случайным образом отбрасывается, ее коэффициенты обнуляются, и только оставшиеся связи обновляются при успешной или неудачной классификации этого изображения. Повторение этой операции для каждого изображения, по сути, означает, что каждое изображение показывается уникальной версии сети, что не позволяет всей сети целиком настраиваться на детали каждого конкретного изображения. И когда эта сеть затем тестируется на изображениях, которые до этого не видела, она лучше справляется с их правильной категоризацией. Разрыв соединений наугад добавляет к сети помеху, шум, который позволяет ей обобщать.
Ваш мозг сталкивается с теми же проблемами – только большего масштаба. В вашей коре есть миллиарды соединений, которые можно регулировать каждый раз, когда вы чему-то учитесь. Так как же не попасть в ловушку переобучения? Я предлагаю использовать синаптический сбой. Синаптический сбой – точно такой же механизм, как и DropConnect: он разрывает связи между нейронами временно и случайным образом. Он добавляет преднамеренный шум именно там, где нужно, чтобы мозг не попал в ловушку переобучения. Там, где мозг должен обобщать.
Вторая веская причина добавить в свой мозг преднамеренные помехи – помочь ему с поиском. Многие задачи в машинном обучении связаны с поиском оптимального решения проблемы с учетом некоторых ограничений. Классический пример: найти самый быстрый автомобильный маршрут между двумя точками. Причем самый быстрый зачастую не будет самым коротким, а решения должны учитывать скоростные ограничения, интенсивность дорожного движения, ваш вид транспорта (скажем, грузовикам по некоторым дорогам проезд запрещен), время суток, вероятность появления на дороге сбежавшей с фермы овцы и бесчисленное множество других факторов.
Машина, решающая эти проблемы, исследует пространство возможных решений. Она строит маршрут, оценивает, насколько он хорош, и выясняет, как его изменить, чтобы найти вариант получше [138]. Предположим, вы хотите поехать из Лондона в Париж. Машина проложит один возможный маршрут и рассчитает, сколько времени он займет, а затем посмотрит, как его можно оптимизировать – вероятно, здесь стоит повернуть налево, чтобы выехать на более длинную дорогу с высоким скоростным лимитом, сократив общее время в пути. И будет повторять этот цикл предположения и корректировки до тех пор, пока предлагаемые решения не перестанут выдавать уменьшение времени в пути.
Основная проблема поиска состоит в том, что у предполагаемого маршрута будет много подходящих, приемлемых, хороших решений, но все они будут окружены худшими вариантами, так что любые небольшие отклонения от адекватного решения не будут приводить к улучшению. Это маленькие ловушки в большом пространстве возможных решений. Из-за них может показаться, что лучших решений нет, но это не так.
Многие приемы по избеганию таких ловушек сводятся к одному и тому же решению – добавить случайности. Преднамеренное внесение случайных серьезных изменений в решение позволяет машине выпрыгнуть из маленьких ловушек, найти варианты лучше и продолжить поиск оптимизации. Вместо того чтобы блуждать по проселочным дорогам графства Кент, сильная помеха может привести к тому, что поиск окажется на автомагистрали, ведущей из Лондона прямо в порт на южном побережье Великобритании. (В идеальном мире достаточное количество шума, возможно, привело бы к отказу машины от поиска автомобильного маршрута и к указанию «возьми билет на прямой поезд Лондон – Париж, глупый кожаный мешок».) Чтобы искать оптимальные решения, нужен шум. Более того, шум, который можно настраивать – сделать сильным для генерации начальных крупных вариаций, а затем слабым, чтобы отточить решение.
На мой взгляд, это наводит на завораживающую идею о том, что синаптические сбои лежат в основе поискового алгоритма мозга [139]. Мозгу необходимо искать решения многих проблем в условиях ограничений. Как например, поиск маршрутов к источникам пищи – одновременно быстрых, легких и безопасных. Подобно машине, мозгу необходимо исследовать пространство возможных решений, чтобы найти лучшее (строго говоря, «наименее плохое»). И если то, что было до сих пор сказано в этой книге, отложилось в вашей памяти, вы уже знаете, что поиск маршрута будет осуществляется путем пересылки импульсов между нейронами. Итак, чтобы выбраться из ловушек всего лишь адекватных решений, мозгу нужно добавить шума в процесс отправки импульсов. Синаптический сбой и есть этот шум: случайный, беспрестанный и настраиваемый, он может быть слабым или сильным.
Тот факт, что наличие шума и помех значительно улучшает обучение и поиск, дает возможное объяснение, почему мозг должен быть намеренно несовершенным, полным помех. И мне кажется, что синаптический сбой – это лучшая форма шума и помех.
Еще один импульс достиг синапса, в котором мы застряли, всего через несколько десятков миллисекунд после нашего. Поскольку синапс был подготовлен первым импульсом, второй без труда запустил высвобождение молекул медиатора. Мы с радостью покидаем аксон и переправляемся на другую сторону, чтобы сопровождать всплеск потенциала, распространяющийся по дендриту. Мы достигли первого нейрона префронтальной коры, одного из огромного ряда нейронов, покрывающих лобную долю вашего мозга. Темновато тут, не правда ли?
Глава 6
Проблема темных нейронов
Классическое представление
Каждый раз, когда мы поднимаемся в кору из белого вещества, перед нами разворачиваются потрясающие виды. Нас окружает панорама мерцающих нейронов, светящихся точек, искрящихся импульсами, словно ночное небо, покрытое звездами и галактиками. Но, как и в космосе, тьмы здесь больше, чем света. Эти яркие точки на небосводе коры головного мозга, рассылающие импульсы нейроны – лишь искры в обширной, всепоглощающей тьме. Звезды среди мрака молчаливых нейронов.
Куда бы мы ни последовали за
